强化学习 · 第二章 · 专题动画
从一条轨迹
到一个数
上一讲把一次选择写成五个符号;这一讲补上“什么算好”:用回报给一条轨迹打分,用价值函数给一个状态定价,再用一行递归把长期问题折成一步。
① 策略
② 回报
③ 递归
④ V 与 Q
⑤ 算例
这一讲的问题
同样的环境,两套策略,谁更好?
回报给一条轨迹打一个分;
价值函数把“多次尝试”平均成一个数。
比谁这一步奖励高
→
比谁的期望折扣回报大
白话
回报:一条轨迹的折扣总分
价值:回报的平均值
期望:多次尝试取平均
递归:自己等于“一步 + 打折的自己”
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
02 · 策略:先把“怎么做”写清楚
策略不是动作表,是“状态 → 动作”的规则
随机策略 / 确定性策略π(a|s) = P(at=a | st=s),Σa π(a|s) = 1 ; a = π(s)
确定性策略是随机策略的特例:概率全压在一个动作上。策略是“状态 → 动作”的映射,不是事先排好的动作序列。
1它是求解的目标
所有算法最后要交付的,就是一套策略;比较策略,就是比较它的价值。
2它是闭环映射
按实际到达的状态决定动作,不是事先排好的动作表;状态变了,动作就跟着变。
3它诱导出一条链
给定 π,环境就变成一条马尔可夫链:转移是 Pπ,奖励是 Rπ。所谓“策略评估”,就算在这条链上。
?为什么允许随机
为了探索、为了博弈、为了部分可观测;但在有限 MDP 里,一定存在确定性最优策略,随机只是更一般的写法。
策略比大小
π ⪰ π′ ⇔ ∀s:Vπ(s) ≥ Vπ′(s)
每个状态都不差,才叫不差;至少存在一个最优策略 π*。
① 策略 · 代入›② 回报›③ 递归›④ V 与 Q›⑤ 算例
03 · 策略代入:把 π 代进两张表
Pπ 和 Rπ,都是「按 π 加权平均」
① 先选动作派决定每个动作的出现机会
S ──π──▶ A
再
② 再走环境P 和 R 只认动作,不认策略
A ──P,R──▶ S′
机会不均等,所以要按机会加权;π 只改权重,不改表里的数
两条加权平均Pπ(s′|s) = Σa π(a|s)·P(s′|s,a) Rπ(s) = Σa π(a|s)·R(s,a)
左边是“加权之后的链”,右边是“逐动作的表”:π 只决定权重,不改表里的数。
| 动作 | π(a|s) | P(s′₁|s,a) | P(s′₂|s,a) | R(s,a) |
| a₁ | 0.6 | 0.8 | 0.2 | +1.0 |
| a₂ | 0.3 | 0.4 | 0.6 | −0.5 |
| a₃ | 0.1 | 0.1 | 0.9 | −0.1 |
每行转移各自归一:0.8+0.2、0.4+0.6、0.1+0.9 都等于 1;策略也归一:0.6+0.3+0.1 = 1。
π 只决定“怎么混”,P 和 R 才是“表里有什么”。
去 s′₁ 的这条边
Pπ(s′₁|s) = Σa π(a|s)·P(s′₁|s,a)
= 0.6×0.8 + 0.3×0.4 + 0.1×0.1
= 0.48 + 0.12 + 0.01 = 0.61
去 s′₂ 的这条边
Pπ(s′₂|s) = Σa π(a|s)·P(s′₂|s,a)
= 0.6×0.2 + 0.3×0.6 + 0.1×0.9
= 0.12 + 0.18 + 0.09 = 0.39
0.61 + 0.39 = 1.00
加权之后,概率仍然归一
奖励也按同一个 π 加权
Rπ(s) = Σa π(a|s)·R(s,a)
= 0.6×(+1.0) + 0.3×(−0.5) + 0.1×(−0.1)
= 0.60 − 0.15 − 0.01 = 0.44
Pπ 决定往哪走,Rπ 决定这一步打几分;两个都由 π 加权而来。
所以换了策略,整条链的转移和奖励一起变。
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
03 · 回报:一条轨迹的分数
不看某一步,看整条轨迹的折现总分
折扣回报Gt = rt + γrt+1 + γ2rt+2 + ⋯ = Σk=0..∞ γk rt+k
Gt 是随机变量:它依赖策略的随机性与环境的转移。价值函数才是它的期望。
1
数学上保证有界
若 |r| ≤ Rmax 且 γ < 1,则 |Gt| ≤ Rmax/(1−γ);奖励有界且 γ < 1 时,贝尔曼备份是 γ-压缩映射,迭代因此收敛。
2
时间偏好与不确定性
未来越远,不确定性越大,折现越多;γ 接近 0 是短视,接近 1 是重视长期。
3
经济学折现
未来的 1 元不如现在的 1 元值钱;电池、设备这类有寿命和退化成本的系统,这条尤其真实。
有效视野 ≈ 1/(1−γ)
γ = 0.5 → 2 步;0.9 → 10 步;0.95 → 20 步;0.99 → 100 步。一天 96 个 15 分钟,γ = 0.9 时第 96 步权重只剩 4×10⁻⁵,早间充电几乎影响不到晚间放电。
→
→
Vπ(s)
价值:回报在策略下的期望,是一个确定的数
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
04 · 递归:把无穷折成一步
Gt = rt + γGt+1:整篇最重要的一行
Gt = rt + γGt+1
长期回报 = 这一步的奖励 + 打过折的、从下一步开始的长期回报
① 无穷 → 有限
无穷求和变成一步 + 一个未知函数,可以用方程解。
② 自相似
从今天看到无穷,和从明天看到无穷,结构一样。
③ 一切的地基
贝尔曼方程、TD、Q-learning,都从这一行长出来。
每步都拿 1,γ = 0.9
G = 10
1 + 0.9 + 0.81 + ⋯ = 1/(1−0.9);无限长,却是有限数
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
05 · 价值:给状态和动作各定一个价
回报取期望,才是一个能比较的数
状态价值 / 动作价值Vπ(s) = 𝔼π[ Gt | st=s ] ; Qπ(s,a) = 𝔼π[ Gt | st=s, at=a ]
同一个回报,问法不同:V 问“处在 s 有多好”,Q 问“在 s 先做 a、之后按 π 走有多好”。
V状态价值:站在状态的价
Vπ(s) = 𝔼π[ Gt | st=s ]
到这里之后按策略走,平均能拿多少;策略定了,它就是确定的数。
Q动作价值:先做动作的价
Qπ(s,a) = 𝔼π[ Gt | st=s, at=a ]
差别只有一个词:先做这个动作。Q 多保留了“当前动作”这层自由度。
两者互为表里
Vπ(s) = Σa π(a|s)·Qπ(s,a) ← 按策略加权
Qπ(s,a) = R(s,a) + γ Σs′ P(s′|s,a)·Vπ(s′)
优势函数:把基准减掉
Aπ(s,a) = Qπ(s,a) − Vπ(s)
Σa π(a|s)·Aπ(s,a) = 0;策略梯度靠它降方差,Actor-Critic 里的 TD 误差就是它的样本估计。
V 看处在哪·Q 看先做什么·A 看这个动作比平均好多少
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
06 · 算例:两状态 MDP,手算一遍
把公式坐实:两个状态,一个动作,γ = 0.9
S{ s₁, s₂ } 两个状态
A{ a₁ } 只有一个动作,策略必然确定
γ0.9 有效视野约 10 步
| 状态 | 动作 | 转移 | 即时奖励 |
| s₁ | a₁ | → s₂(概率 1.0) | 0 |
| s₂ | a₁ | → s₁(0.5)、→ s₂(0.5) | 1 |
单动作 ⇒ 期望方程写成两个状态方程
V(s₁) = 0 + 0.9·V(s₂)
s₁ 只有一条出边,奖励 0,后面只挂 γ 乘唯一的后继价值
V(s₂) = 1 + 0.9·[0.5·V(s₁) + 0.5·V(s₂)]
s₂ 的奖励是 1;括号里是两条出边按 0.5 / 0.5 加权,再整体打 γ 折
代入
V(s₂) = 1 + 0.855·V(s₂)
⟹
0.145·V(s₂) = 1
⟹
V(s₂) = 200/29
6.8966
V(s₁) = 180/29 = 6.2069
验算:0.9 × 6.8966 = 6.2069 ✓ ;1 + 0.45 × 13.1035 = 6.8966 ✓
矩阵式 Vπ = (I − γPπ)−1Rπ ,det = 0.145(γ < 1 保证可逆)
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
06b · 加强理解:把即时奖励改写在每条边上
奖励跟着去向走,V(s₁) 与 V(s₂) 分别怎么变
同上S = { s₁, s₂ } A = { a₁ } γ = 0.9 都与上一例相同
| 状态 | 动作 | 落到哪里 | 这条边的奖励 |
| s₁ | a₁ | → s₂(1.0) | 0 |
| s₂ | a₁ | → s₁(0.5) | 1 |
| s₂ | a₁ | → s₂(0.5) | 0.8 |
奖励写在边上 ⇒ 每条边:概率 × [ 边的奖励 + 0.9×下一状态价值 ]
V(s₁) = 1.0·[0 + 0.9·V(s₂)]
V(s₂) = 0.5·[1 + 0.9·V(s₁)] + 0.5·[0.8 + 0.9·V(s₂)]
每个数下面的标注就是它的含义;两个方括号 = s₂ 的两条出边,各自算完再相加
代入
V(s₂) = 0.9 + 0.855·V(s₂)
⟹
0.145·V(s₂) = 0.9
⟹
V(s₂) = 180/29
6.2069
V(s₁) = 162/29 = 5.5862
对比:奖励少 0.1,价值少 0.6897(6.8966 → 6.2069)
一句话 写在边上的奖励,先按概率平均
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
07 · 迭代:从 0 开始逼近同一个数
不解方程组,只反复“备份”,也会走到同一个答案
值迭代Vk+1(s) = maxa [ R(s,a) + γ Σs′ P(s′|s,a)·Vk(s′) ]
用旧的估计算一步期望,取最大,替换旧值;只有单动作时,max 退化成期望备份。
| k | Vk(s₁) | Vk(s₂) |
| 0 | 0.0000 | 0.0000 |
| 1 | 0.0000 | 1.0000 |
| 2 | 0.9000 | 1.4500 |
| 3 | 1.3050 | 2.0575 |
| 5 | 2.2618 | 2.9642 |
| 10 | 3.8825 | 4.5720 |
| 20 | 5.3964 | 6.0860 |
| ∞ | 6.2069 | 6.8966 |
误差按 ek+1 = γPek 更新;备份的无穷范数收缩因子不超过 γ = 0.9,本例的渐近主收敛率也是 0.9。k=20 时误差仍约 0.920 ≈ 0.12 倍初值,所以表里离终值还差约 0.8。
固定初始误差和容差,所需轮数随 1/(1−γ) 增大,并含容差的对数因子;γ 越接近 1,收敛越慢。
k = 0 起点:全设为 0
V₀(s₁) = 0 V₀(s₂) = 0
k = 1 第一次备份
V₁(s₁) = 0 + 0.9×0 = 0 V₁(s₂) = 1 + 0.9×(0.5·0 + 0.5·0) = 1
k = 2 第二次备份:把 k=1 的值再代回去
V₂(s₁) = 0 + 0.9×1 = 0.9 V₂(s₂) = 1 + 0.9×(0.5·0 + 0.5·1) = 1.45
① 策略›② 回报›③ 递归›④ V 与 Q›⑤ 算例
08 · 收束:这一讲只讲了三句话
从一条轨迹,到一个能比较的数
1
策略是映射,不是动作表
π(a|s) 按实际到达的状态选动作;给定 π,环境变成一条链 Pπ、Rπ,评估才有对象。比较策略,就是逐状态比较价值。
2
回报是一条轨迹的折扣总分,且满足递归
Gt = Σ γkrt+k 是随机变量;Gt = rt + γGt+1 把无穷求和折成一步 —— 贝尔曼方程、TD、Q-learning 全从这里长出来。
3
V 是期望,Q 是按动作拆开,A 是两者的差
V = Σπ·Q,Q = R + γΣPV,A = Q − V;两状态算例给出 V(s₂) = 6.8966、V(s₁) = 6.2069,值迭代从 0 也能爬到同一对数字。
策略 π → 回报 Gt → 递归 Gt = rt + γGt+1 → V / Q / A → 算例与迭代
下一章 · 贝尔曼方程:期望方程、最优方程,以及策略迭代
片尾 · 出品说明
朝露记出品
内容梳理
讲解配音
动画编排
第二章 · 完
下一章 · 贝尔曼方程与最优策略
解